Heinrici phục vụ trong suốt Chiến tranh thế giới thứ hai, cũng như trong Chiến tranh thế giới thứ nhất, ông tham chiến ở cả hai mặt trận. Heinrici nổi danh là chiến thuật gia về phòng thủ tài ba nhất của Đức trong Wehrmacht và nổi tiếng gan lì. Vì vậy, sĩ quan và binh lính dưới quyền ông gọi ông là Unser Giftzwerg, hiểu như là "Chàng lùn cứng cáp của chúng ta", để xác nhận tính cách và vóc người nhỏ bé của ông.

Trong suốt Chiến tranh chớp nhoáng tấn công Pháp, Heinrici chỉ huy Quân đoàn 12 và chọc thủng được Phòng tuyến Maginot ngày 14 tháng 6 năm 1940.

Năm 1941, trong Chiến dịch Barbarossa, Heinrici phục vụ trong Tập đoàn quân Thiết giáp số 2 dưới quyền Heinz Guderian và, với tư cách Tư lệnh Quân đoàn 43, nhận được huân chương Thập tự Hiệp sĩ.

Ngày 26 tháng 1 năm 1942, Heinrici được cử làm Tư lệnh Tập đoàn quân số 4 Đức. Đơn vị này là lực lượng chủ yếu trên phòng tuyến đang tan vỡ nhanh chóng của người Đức đối diện thẳng với Moskva. Tập đoàn quân số 4 dưới quyền Heinrici đã chống cự mãnh liệt với Hồng quân Xô Viết trong suốt 10 tuần. Heinrici đã thành công dù có những lúc phải đối địch với lực lượng đối phương đông gấp 12 lần. Trong suốt thời gian này, Heinrici đã phát triển một trong những chiến lược nổi tiếng nhất của mình: khi nhận ra một đợt tiến công của quân Xô Viết sắp diễn ra, Heinrici ém quân phía sau chiến lũy trước khi pháo binh nổ súng bắn yểm hộ. Rồi, ngay sau đó, ông tung họ, hoàn toàn khỏe mạnh, trở lại đối mặt với quân tấn công Xô Viết.

Smolensk

Cuối năm 1943, Göring an trí Heinrici ở một khu dưỡng bệnh ở Karlsbad với cái cớ "sức khỏe kém". Đây thực ra là sự trừng phạt vì ông đã từ chối thiêu hủy Smolensk theo chính sách "tiêu thổ" của chính quyền Quốc xã. Tuy nhiên, đáng lưu ý là Heinrici đã từng hai lần nghỉ có phép trong 2 tháng trong Chiến tranh thế giới thứ hai. Ông đã nghỉ phép từ 6 tháng 6 đến 13 tháng 7 năm 1942. Khoảng một năm sau, Heinrici lại nghỉ phép từ 1 tháng 6 đến 31 tháng 7 năm 1943. Người ta tin rằng lý do của một trong hai lần nghỉ phép này là ông mắc phải bệnh viêm gan.

Mùa hè năm 1944, sau 8 tháng ngồi chơi xơi nước, Heinrici được cử đến Hungary và nhận chức Tư lệnh Tập đoàn quân Thiết giáp số 1 Đức, bao gồm Tập đoàn quân Hungary số 1. Ông đã thành công dẫn Tập đoàn quân Thiết giáp số 1 rút lui về Slovakia mà hầu như không thiệt hại gì. Sự chiến đấu kiên cường của Heinrici giúp ông nhận được Thanh kiếm với Lá sồi cho Thập tự Hiệp sĩ ngày 3 tháng 3 năm 1945.

Lui quân khỏi Oder

Ngày 20 tháng 3 năm 1945, Heinz Guderian thay thế Heinrich Himmler, với Heinrici là Tổng tư lệnh Cụm tập đoàn quân Vistula trên Mặt trận phía đông. Trước đó, cho rằng ông bị ốm, Himmler đã giải chức ông ngày 13 tháng 3 và an trí tại một viện điều dưỡng tại Hohenlychen. Lúc này, trận địa của Cụm Vistula chỉ cách Berlin chưa tới 50 dặm.

Với tư cách Tổng tư lệnh Cụm tập đoàn quân Vistula, Heinrici chỉ huy hai tập đoàn quân: Tập đoàn quân Thiết giáp số 3 của tướng Hasso von Manteuffel và Tập đoàn quân số 9 của tướng Theodor Busse. Heinrici được giao nhiệm vụ ngăn cản quân Xô Viết tấn công qua sông Oder. Nhưng ông phải đối mặt với sự thiếu hụt nhân lực, vật lực, và ảo tưởng của Hitler rằng Hồng quân sẽ không thể tấn công Berlin.

Dưới sự chỉ huy của hai nguyên soái Georgi Konstantinovich Zhukov (Phương diện quân Belorussia số 1) và Ivan Stepanovich Koniev (Phương diện quân Ukraina số 1), quân Xô Viết nhanh chóng tiến về phía tây và đã dừng lại ở bờ đông sông Oder vài tháng. Khi quân Anh-Mỹ tiến đến Berlin từ hướng tây, tuy nhiên, Stalin cho rằng họ muốn chiếm Berlin cho mình và do đó lệnh cho Zhukov và Koniev tiến chiếm thành phố mà không được trì hoãn thêm nữa.

Ngày 15 tháng 4, Heinrici gặp kiến trúc sư Albert Speer và Trung tướng Helmuth Reymann để thảo luận về chính sách tiêu thổ (xem Sắc lệnh Nero) mà Speer và Heinrici đều chống lại. Lúc đó, Reymann là Tư lệnh phòng thủ Berlin. Dù Reymann từ chối ủng hộ Speer, ông ta hứa sẽ bàn bạc với Heinrici trước khi phá hủy cơ sở hạ tầng chính yếu của thành phố.

Ngày 16 tháng 4, giai đoạn 1 của trận Berlin, trận Oder-Neisse, bắt đầu. Trên toàn tuyến, quân Xô Viết tấn công với hơn 1.500.000 quân trong trận chiến mà họ mệnh danh là "Chiến dịch Tấn công Berlin". Sáng sớm ngày 18 tháng 4, quân của Zhukov vượt sông Oder và tấn công các vị trí quân Heinrici trên bờ tây. Cùng lúc đó, quân của Koniev tấn công Cụm tập đoàn quân Trung tâm của Thống chế Ferdinand Schörner về phía nam. Tới ngày 19 tháng 4, quân Xô Viết đã vượt qua tuyến phòng thủ và trận Oder-Neisse chấm dứt. Lúc này bắt đầu giai đoạn 2 của trận Berlin, trận đánh chiếm lấy thành phố.

Khoảng 21 tháng 4, Hitler mới biết được kế hoạch lui quân của Cụm Vistula sau một yêu cầu khó hiểu của Đại tướng Heinrici. Heinrici yêu cầu Hitler cho phép dời Bộ Tư lệnh của ông về địa điểm mới. Hitler chỉ có thể nhận ra vị trí mới của Bộ Tư lệnh của Heinrici sau khi đã tìm kiếm rất nhiều trên bản đồ. Hitler sau đó sợ hãi nhận ra rằng vị trí đó ở về phía tây và, do đó, xa hơn Tổng hành dinh của chính Hitler ở Führerbunker đối với quân Xô Viết. Và Hitler đã nổi điên.

Tới cuối tháng 4, Heinrici nhận ra rằng Cụm tập đoàn quân Vistula không thể ngăn chặn nổi đà tiến của quân Xô Viết. Sau những ngày giao tranh ác liệt, ông ra lệnh rút quân khỏi Wollin. Ông lệnh cho binh lính lui sang sông Oder. Heinrici ra mệnh lệnh này bất chấp mệnh lệnh của Hitler rằng không được lui quân khi chưa có lệnh của chính ông ta.

Bất đồng với Keitel và bị cách chức

Ngày 28 tháng 4, Thống chế Đức Wilhelm Keitel kinh ngạc nhận ra lực lượng Sư đoàn Thiết giáp số 7 và Sư đoàn Bộ binh Cơ giới số 25 đang tiến về phía bắc xa khỏi, khi đang đi trên đường phía bắc Berlin. Những đội quân này thuộc Tập đoàn quân Thiết giáp số 3 của Hasso von Manteuffel. Tập đoàn quân Thiết giáp số 3 cũng là một trong hai tập đoàn quân thuộc Cụm quân Vistula của Heinrici và lẽ ra phải đang tiến về Berlin. Thay vào đó, họ đang hướng về phía bắc trong một nỗ lực ngăn chặn cuộc đột phá của quân Xô Viết tại Neubrandenburg[2].

Heinrici đã bất chấp những mệnh lệnh nghiêm khắc nhất của Keitel và đại diện của ông ta, Đại tướng Alfred Jodl. Nổi giận, Keitel lao đi tìm Heinrici và bắt gặp ông trên một con đường gần Neubrandenburg. Heinrici đang ở gần mặt trận và được Von Manteuffel tháp tùng. Từng đoàn binh lính bị thương và không có vũ khí và những đoạn dài bất tận những người chạy nạn đang di chuyển qua[2]. Keitel, tái mặt, yêu cầu Heinrici giải thích cho sự bất tuân thượng lệnh, mưu phản, hèn nhát, và phá hoại. Keitel buộc tội Heinrici vì sự yếu kém và hét lên rằng nếu Heinrici theo gương tướng Lothar Rendulic ở Áo và xử bắn vài nghìn kẻ đào ngũ hay treo chúng lên cái cây gần đó nhất, đội quân của ông sẽ không phải rút chạy như thế này[2].

Những nỗ lực của Heinrici là nhằm đem quân của mình, và càng nhiều dân càng tốt, về phía tây. Heinrici định đưa họ đến khu vực giữa nhánh bắc sông Elbe và biển Baltic[2]. Heinrici nói với Keitel, "Thống chế Keitel, nếu ông muốn bắn những người này, hãy bắt đầu đi!"[2].

Keitel sau đó cách chức Heinrici. Quyền chỉ huy được trao lại cho Von Manteuffel, nhưng Von Manteuffel không chỉ từ chối nhậm chức mà còn phản đối cách đối xử của Keitel với Heinrici. Kurt von Tippelskirch được cử tạm thay quyền Heinrici đến khi tướng Kurt Student đến nắm quyền chỉ huy Cụm quân Vistula. Nhưng Student đã bị quân Anh bắt trước khi có thể nhận chức.

Sau khi mất chức, Heinrici trở về Plön, nơi ông đầu hàng quân Anh ngày 28 tháng 5 năm 1945.